Agent实际做了什么?面向长程Agent的基于证据监督方法
🧭 Agent行为监控与证据定位
Gaoling School of Artificial Intelligence, Renmin University of China · Kuaishou Technology
提出EBG训练无关方法,将证据按行为分组并构图为任务导向视图,提升长程Agent关键决策识别与证据定位
📌 工作参考价值(4 点)
- 在电商/广告Agent自动化流程中,可将EBG作为轻量监控层:把Agent动作日志按源链证据聚类为行为节点并构建依赖图,在审核UI中呈现任务导向视图,帮助运营快速定位需要人工验证的环节,避免阅读完整trace。
- EBG训练无关、即插即用,且证据定位增益在长上下文和不同超参数下保持稳定,可直接嵌入现有Agent监控模块,无需额外训练或微调,适合快速上线。
- 借鉴AgentMonBench的两个评估维度(需求-行为对齐、自主决策需验证的意识),在内部构建Agent可靠性测试集,重点考察Agent是否做了需求外的事、是否在关键节点主动请求确认。
- 对搜索/推荐系统中由LLM Agent生成的query或策略,可用EBG将决策与证据(用户日志、商品信息)显式链接,增强可解释性与审计能力,提升人对自动决策的信任。
看哪里与用什么:面向长期对话记忆问答的检索-定位-生成框架
🧭 长时对话记忆QA · RAG
University of Electronic Science and Technology of China, Chengdu, China · Institute of Information Engineering, Chinese Academy of Sciences, Beijing, China · School of Cyber Security, University of Chinese Academy of Sciences, Beijing, China · MiLM Plus, Xiaomi Inc., China · State Key Laboratory of Internet Architecture, Tsinghua University, Beijing, China
提出MemLoc框架,通过多粒度检索、证据定位与位置ID引导生成,解决长期对话记忆问答中的碎片化与噪声问题
📌 工作参考价值(4 点)
- 借鉴多粒度记忆单元与图路由:在用户长期行为序列建模(如电商会话历史)中,将 session 按不同时间粒度/主题切分为多粒度单元,用图结构建模跨会话依赖,配合熵基粒度选择,可提升对长周期用户兴趣的召回精度,避免只依赖全局 embedding。
- 引入证据定位层压缩上下文:在 RAG 生成前增加一个“定位器”,从检索到的多个文档或历史记录中抽取关键片段并重排,输出轻量位置 ID 而非全文,能显著降低无关噪声干扰,缓解 lost-in-the-middle 效应,可复用于客服对话摘要、用户评论分析等场景。
- SHPO 训练技巧:用“自反思提示策略优化”训练定位器,即让模型生成推理过程并依据反馈调整,可将此方法用于训练业务中的证据提取/重排模块,提升定位精度。
- 工程实现上,位置 ID 作为 grounding 信号比直接拼接原文更省 token,同时保留原文索引方便回溯,适合在低延迟 Agent 系统中部署。